#Token Reduction

3 篇

Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs

为何视频推理仍昂贵？视频与音视频 LLM 推理效率机制综述

🧭 多模态视频 LLM 推理效率综述

系统综述视频/音视频 LLM 的推理效率优化机制，按流水线阶段梳理 token 削减与算力降低方法

📌 工作参考价值（4 点）

若业务涉及商品短视频/视频广告理解，可借鉴其帧采样与 token 削减思路：在离线特征抽取或在线推理中先用轻量采样+连接层压缩，控制送入 LLM 的 token 数，降低 prefill 和 KV cache 成本。
对多模态 item 表示生成，可参考连接层 token reduction 架构，把视觉/音频 token 聚合成少量语义 token，用于召回或排序特征的轻量化。
建立 accuracy–cost 权衡表：在引入任何视频理解模块时，强制在同 host LLM 与输入协议下对比 FLOPs/延迟/显存，避免被跨论文异构指标误导。
整体是学术综述，纯文本推荐/搜索系统直接复用点有限；但若部署视频多模态能力，可作为选型与优化清单。

Multimodal | 2026-09-08 | HF Daily | score 6/10

GraphRAG 是否必要？RAG 方案对比与上下文优化

🧭 RAG 方案对比与上下文优化

Generative AI Innovation Center, Amazon Web Services (AWS) · Cisco Systems, Inc.

系统对比 9 种 RAG 场景并提出上下文工程方法，token 用量降低 19%-53%，揭示检索-生成差距

📌 工作参考价值（4 点）

上下文工程技巧：提出的混合文本-图检索与 Agent 循环设计可复用，尤其适合电商知识库问答中的长上下文管理，避免 KV cache 膨胀，直接用于客服或导购 Agent 的 memory 控制。
检索-生成差距洞察：业务上不要盲目叠加复杂检索（如图谱扩展），应先评估生成端真实增益；在推荐理由生成、商品属性问答等场景中，用生成质量（而非召回率）作为最终优化指标。
GraphRAG 适用边界：半结构化知识（如商品图谱、品牌关系）用 GraphRAG 能提升一致性，但需注意短期用户交互场景可能用轻量 Modular RAG 更经济。建议按查询复杂度分流：简单事实查询走基础 RAG，多跳推理走 Agentic-GraphRAG。
Agent 与图谱集成模式：在电商智能导购中，可将商品数据构建为预定义 KG，通过 Agent 多轮规划调用图谱查询与文本检索，实现精准商品推荐与属性解释，文中 Agent-Graph 集成方案可直接参考。

RAG | 2026-06-24 | cs.IR | score 7/10

带有学习可靠性的过程奖励模型

🧭 过程奖励可靠性建模与自适应推理

Washington University in St. Louis · Singapore University of Technology and Design

BetaPRM 预测步骤正确概率和该预测的可靠性，并利用可靠性信号实现自适应计算分配，减少推理 token 消耗

📌 工作参考价值（4 点）

在 Agent 多步决策中，使用 Beta 分布建模每步奖励的可靠性，避免单点奖励误导决策，增强动作选择的可信度。
对于生成式推荐候选集选择的 Best-of-N 推理，可借鉴自适应计算分配（ACA）：根据可靠性提前终止高置信候选，将计算资源集中到不确定的候选上，显著减少 LLM 调用成本。
训练 PRM 时，不再回归有限样本成功率，而是采用 Beta-Binomial 似然直接学习 Beta 信念，输出不确定性，这对排名、过滤等下游任务更友好。
在需要对中间结果（如 query 重写、解释生成）打分的系统中，可引入可靠性阈值控制，避免过早丢弃潜在正确但暂时评分偏低的步骤。

Training | 2026-05-14 | HF Daily | score 7/10